龟形石上的帕邦喀相传为文成公主初到拉萨的时候，依据八十种博唐数理及五行图推算，指出拉萨地形优胜、风水吉利，东为白龙、南为青虎、西为朱雀、北为玄武，玄武就是神龟。藏王松赞干布亲自到拉萨北郊视看，果然发现娘热山沟有一巨石如伏龟，高出地面有四、五层楼的样子。于是在这座龟形巨石上修筑一座宫堡，名叫帕邦喀，意为巨石堡。

    有人说当时宫堡高有九层，四周全是用铁链固定的，石墙缝隙中也都浇铸了铁水，整座宫堡犹如铁桶般的坚固。后来松赞干布安置了吐蕃一位从南亚学习回来的名臣吞米·桑布扎在这里创制藏文，并且还拜他为规范师，亲自跟他学习文字。据说现在石头上刻的藏文六字真言便是吞米·桑布扎亲笔所书。在公元9世纪中期朗达玛灭佛后，这九层宫堡也毁于一旦。

    但在公元11世纪时，著名僧人旁多哇和扎多哇又在废墟上修建了一座两层楼的寺庙，潜心研佛，静修佛法，深思佛道，并取名帕邦喀寺。此寺虽小，但是因为它的古老和佛学的精深，依然闻名全藏，乃至全国。如今这座寺庙已经修复，伫立于巨大龟石之上，风格独特，竟显敖人风姿，引来众多香客前来朝拜，因此香火尤盛。